Yamagata được sinh ra trong một gia đình samurai cấp thấp từ Hagi, thủ phủ của phiên Chōshū (ngày nay là tỉnh Yamaguchi). Ông đến Shokasonjuku, một trường tư của Yoshida Shōin, nơi đây ông cống hiến sức lực của mình để phát triển phong trào bí mật lật đổ Mạc phủ Tokugawa. Ông là chỉ huy của Kiheitai, một tổ chức bán quân sự theo kiểu bán phương Tây của phiên Chōshū. Trong cuộc chiến tranh Boshin, cách mạng năm 1867 và 1869 thường gọi là Minh Trị Duy Tân, ông là một sĩ quan tham mưu.

Sau sự thất bại của Mạc phủ Tokugawa, Yamagata cùng với Saigō Tsugumichi được các lãnh đạo của chính phủ mới lựa chọn đển đến Châu Âu năm 1869 để nghiên cứu hệ thống quân sự phương Tây. Yamagata giống như nhiều người Nhật khác bị ảnh hưởng mạnh mẽ bởi những thành công rực rỡ gần đây của nước Phổ trong việc tự chuyển mình từ một quốc gia nông nghiệp thành một cường quốc quân sự và công nghiệp hàng đầu. Ông đồng ý với những tư tưởng chính trị Phổ, cổ súy cho việc mở rộng lãnh thổ ra bên ngoài bằng quân đội và chính thể độc tài tại bản quốc. Khi trở về ông được yêu cầu tổ chức quân đội quốc gia Nhật Bản, và ông trở thành Bộ trưởng Bộ chiến tranh năm 1873. Yamagata hăng hái hiện đại hóa Lục quân Đế quốc Nhật Bản vẫn còn non nớt, và tổ chức nó theo kiểu quân đội Phổ. Ông bắt đầu hệ thống nghĩa vụ quân sự năm 1873.